2 research outputs found
A Retrospective Analysis of the Fake News Challenge Stance Detection Task
The 2017 Fake News Challenge Stage 1 (FNC-1) shared task addressed a stance
classification task as a crucial first step towards detecting fake news. To
date, there is no in-depth analysis paper to critically discuss FNC-1's
experimental setup, reproduce the results, and draw conclusions for
next-generation stance classification methods. In this paper, we provide such
an in-depth analysis for the three top-performing systems. We first find that
FNC-1's proposed evaluation metric favors the majority class, which can be
easily classified, and thus overestimates the true discriminative power of the
methods. Therefore, we propose a new F1-based metric yielding a changed system
ranking. Next, we compare the features and architectures used, which leads to a
novel feature-rich stacked LSTM model that performs on par with the best
systems, but is superior in predicting minority classes. To understand the
methods' ability to generalize, we derive a new dataset and perform both
in-domain and cross-domain experiments. Our qualitative and quantitative study
helps interpreting the original FNC-1 scores and understand which features help
improving performance and why. Our new dataset and all source code used during
the reproduction study are publicly available for future research
A Retrospective Analysis of the Fake News Challenge Stance-Detection Task
Denne studien baserer seg på en kvalitativ dokumentanalyse av Fagfornyelsen. Formålet har vært å belyse lytting som en muntlig ferdighet i et læreplanperspektiv. Vi har undersøkt hvordan Fagfornyelsen legger føringer for, og gir muligheter til arbeid med lytting i klasserommet. Spørsmålene som stilles er hvordan lyttebegrepet kommer til syne i kompetansemålene, og hvordan lyttebegrepet kan knyttes til verdier og prinsipper i overordnet del. Motivasjonen for å gjennomføre studien har vært å gi lytteferdigheten en større plass i forskningen, siden det er et felt som det ikke er forsket mye på. Gjennom funnene kommer det fram at lyttebegrepet enkelte ganger blir nevnt eksplisitt i kompetansemålene og overordnet del, men at begrepet i større grad kommer implisitt til syne gjennom for eksempel samtalebegrepet. Videre kan utvikling av muntlige ferdigheter og lytteferdigheten ses på som et mål i seg selv, men også som middel til å oppnå faglig forståelse. Av det siste funnet kommer det fram at lyttebegrepet kan knyttes til læreplanbegrepene kritisk tenkning og dybdelæring